Kembali ke Malaya, beliau terpengaruh dengan Sheikh Muhammad Tahir Jalaluddin al-Azhari yang mendedahkannya dengan pemikiran Muhammad Abduh dan Rashid Rida. Bersama-sama Shaikh Mohamad Tahir, Sheikh Mohamad Salim al-Kalili dan Haji Abbas Mohamad Tahar, mereka memulakan penerbitan Majalah Al-Imam pada 23 Julai 1906 di Singapura. Pada 4 Februari 1908, beliau membuka Madrasah al-Iqbal al-Islamiyyah di Singapura. Antara tahun 1909 - 1915, beliau menjadi peguam di mahkamah syariah di Johor Bahru. Tetapi pada tahun 1915, beliau mengambil keputusan untuk meninggalkan kerjaya tersebut membolehkan beliau kembali ke Melaka dan membuka madrasah di sana bersama Haji Abu Bakar Ahmad yang kemudian dikenali sebagai Madrasah Al-Hadi.